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V© (57) Abstract: The invention relates to a method for correcting irregularities of at least one part of at least one image of an image 
sensor system, said image sensor system comprising at least one image sensor. The irregularities of the image of the image sensor 
S system are corrected in a light-dependent manner. The invention also relates to an image sensor system comprising at least one image 
^ sensor. Said image sensor system comprises means for correcting irregularities in a light-dependent manner in at least one part of at 
TT least one image in an image sensor system. 



(57) Zusarnmenfassung: Es wird Verfahren zur Korrektur von Ungleichmassigkeitcn wenigstens eines Teils wenigstenseines Bildes 

Oeines Bildsensorsystems vorgeschlagen, wobei das Bildsensorsystem aus wenigstens einem Bildsensor besteht. Die Ungleichmas- 
K sigkeiten des Bildes des Bildsensorsystems 
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werden beleuchtungsabhangig korrigiert. Des weitercn wird ein Bildsensorsystem mit wenigstens einem Bildsensor vorgeschlagen, 
wobei das Bildsensorsystem Mittel aufweist, um Ungleichmassigkeiten wenigstens eines Teils wenigstens eines Bildes des Bildsen- 
sorsystems beleuchtungsabhangig zu korrigieren. 
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Verfahren zur Korrektur von \ JngleichmHRi^ i^n eines Bjjdes ^ Biidsgnsasystems 
Stand der Technik 

Die Erfindung betrifft ein Verfahren zur Korrektur von UngleichmaBigkeiten wenigstens eines 
Teils wenigstens eines Biides eines Bildsensorsystems, wobei das Bildsensorsystem aus 
wenigstens einem Bildsensor besteht. Des weiteren betrifft die Erfindung ein Bildsensorsystem 
mit wenigstens einem Bildsensor und ein Computerprogramm mit Programmcode-Mitteln, um 
alle Schritte des Verfahrens durchzufuhren, wenn das Programm auf einem Computer 
ausgeftihrt wird. 

Bei Bildsensoren unterscheidet man zwischen CCD-Bildsensoren und CMOS-Bildsensoren. In 
digitalen Fotoapparaten und Videokameras werden uberwiegend CCD-Bildsensoren eingesetzt. 
Da CCD-Bildsensoren aufgrund von technologisch bedingten Eigenschaften nur bedingt Fur den 
Einsatz im Automotiv-Bereich geeignet sind, ist im Bereich von Kraftfahrzeugen der Einsatz 
von CMOS-Bildsensoren geplant. CMOS-Bildsensoren zeichnen sich gegenUber den CCD- 
Bildsensoren durch eine groBere Beleuchtungsdynamik und durch geringere Artefakte beim 
Auftreten von groBen Kontrasten aus, wie sie bei Blendung durch entgegenkommende 
Fahrzeuge beim Einsatz der Bildsensoren in Kraftfahrzeugen auftreten. Daruber hinaus ist die 
CMOS-Technologie dazu geeignet, neben der Bildaufnahmeelektronik auch Logik auf dem 
Bildsensor unterzubringen. Diese Eigenschaften zeichnen die CMOS-Bildsensoren fiir den 
Einsatz im Automotiv-Bereich aus. 

Bei Bildsensoren, insbesondere CMOS-Bildsensoren, entstehen UngleichmaBigkeiten des 
Bildes beispielsweise durch das sogenannte Fixed Pattern Noise (FPN). Darunter versteht man 
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die raumliche Variation des Ausgangswertes der Pixel bei gleichformiger Beleuchtung des 
Biidsensors. Das Fixed Pattern Noise (FPN) entsteht dadurch, dass die Kennlinien der 
Beleuchtungsempfmdlichkeit der Pixel auf einem CMOS-Bildsensor nicht identisch 
parametriert sind, d.h. bei gleicher Beleuchtung ergeben sich bei unterschiedlichen Pixeln 
unterschiedliche Ausgangswerte. 



Vorteile der Erfindung 



Das nachfolgend beschriebene Verfahren zur beleuchtungsabhangigen Korrektur von 
UngleichmaBigkeiten wenigstens eines Teils wenigstens eines Bildes eines Bildsensorsystems, 
insbesondere die beleuchtungsabhangige Korrektur von UngleichmaBigkeiten der Helligkeit 
wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes, 
hat den Vorteil, dass es moglich ist, das Bildsensorsystem bei extremen Helligkeitsanderungen 
einzusetzen. Durch die Anpassung der Korrektur der UngleichmaBigkeiten des Bildes des 
Bildsensorsystems an den jeweiligen Arbeitspunkt, festgelegt durch die Beleuchtung, werden 
die Bildfehler reduziert, die durch das Bildsensorsystem verursacht werden. In besonders 
vorteilhafter Weise ermoglicht das beschriebene Verfahren den Einsatz von Bildsensorsystemen 
im Automotiv-Bereich. Beim Einsatz von Bildsensorsystemen in Kraftfahrzeugen im Tag- und 
Nachtbetrieb werden hohe Anforderungen an eine Korrektur von UngleichmaBigkeiten des 
Bildes auch bei extremen Helligkeitsunterschieden gestellt Durch das Verfahren wird die 
Bildqualitat im gesamten Arbeitsbereich des Bildsensorsystems erhdht. Allgemein ermoglicht 
das beschriebene Verfahren in vorteilhafter Weise den Einsatz eines Bildsensorsystems in 
Anwendungen, die unter extremen Beleuchtungsbedingungen betrieben werden, beispielsweise 
direkt einfallendes helles Sonnenlicht oder eine dunkle Nacht. Diese Vorteile gelten fur das 
Verfahren selbst und fur ein Bildsensorsystem, das Mittel zur beleuchtungsabhangigen 
Korrektur von UngleichmaBigkeiten' wenigstens eines Teiis wenigstens eines Bildes ausweist, 
insbesondere fur ein Bildsensorsystem das Mittel zur beleuchtungsabhangigen Korrektur von 
UngleichmaBigkeiten der Helligkeit wenigstens eines Bildpunktes des Bildes und/oder 
wenigstens eines Teilbereiches des Bildes aufweist. 



Vorteilhaft ist, dass die Korrektur von UngleichmaBigkeiten wenigstens eines Bildpunktes des 
Bildes und/oder wenigstens eines Teilbereiches des Bildes des Bildsensorsystems durch 
Ermittlung eines lokal und/oder global bestimmten BeleuchtungsmaBes beleuchtungsabhangig 
erfolgt. Fur die Ermittlung eines lokalen BeleuchtungsmaBes wird dabei wenigstens ein 
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Bildpunkt und/oder wenigstens ein Teilbereich des Bildes des Bildsensorsystems verwendet. 
Der Grauwert eines Bildpunktes eines Bildsensorsystems oder der Mittelwert der Grauwerte 
eines Bildpunktes und von Bildpunkten aus dessen Umgebung sind Beispiele fiir ein lokal 
bestimmtes BeleuchtungsmaB. Ein global bestimmtes BeleuchtungsmaB ist dadurch festgelegt, 
5 dass zu dessen Bestimmung das gesamte vom Bildsensor gelieferte Bild verwendet wird. 

Beispielsweise ist der Mittelwert aller Grauwerte der Bildpunkte eines Bildes ein global 
bestimmtes BeleuchtungsmaB. Durch die Ermittlung eines lokal und/oder global bestimmten 
BeleuchtungsmaBes wird in vorteilhafter Weise die individuelle Korrektur von 
UngleichmaBigkeiten wenigstens eines Bildpunktes des Bildes und/oder eines Teilbereiches des 

10 Bildes ermoglicht. Dies fiihrt zu einer optimalen Korrektur von UngleichmaBigkeiten 

wenigstens eines Teils wenigstens eines Bildes. Diese Vorteile gelten fur das Verfahren selbst 
und fur ein Bildsensorsystem mit Mittel, welche die beleuchtungsabhangig Korrektur von 
UngleichmaBigkeiten wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines 
Teilbereiches des Bildes des Bildsensorsystems durch Ermittlung eines lokal und/oder global 

15 bestimmten BeleuchtungsmaBes ermoglichen. 

In besonders vorteilhafter Weise ist das Verfahren zur Korrektur des Fixed-Pattern-Noise (FPN) 
des Bildsensors und/oder wenigstens einer weiteren UngleichmaBigkeit des wenigstens einen 
Teils des Bildes des Bildsensorsystems geeignet. Unter dem Fixed-Pattern-Noise versteht man 

20 die raumliche Variation des Ausgangswertes der Pixel bei gleichformiger Beleuchtung des 

Bildsensors. In vorteilhafter Weise ermoglicht das Verfahren alternativ oder gleichzeitig die 
Korrektur wenigstens einer weiteren UngleichmaBigkeit wenigstens eines Teiles des Bildes. Das 
Verfahren ermoglicht die Korrektur der radiometrischen Objektivinhomogenitaten, 
insbesondere der Objektivrandabschattung. Beim Einbau des Bildsensorsystems in ein 

25 Kraftfahrzeug, beispielsweise an die Innenseite einer Windschutzscheibe, gestattet das 

nachfolgend beschriebene Verfahren eine Korrektur der UngleichmaBigkeiten des Bildes 
infolge von Inhomogenitaten der Windschutzscheibe. In besonders vorteilhafter Weise 
ermdglicht das Verfahren die Korrektur von UngleichmaBigkeiten wenigstens eines Teils 
wenigstens eines Bildes eines Bildsensorsystems, wobei das Bildsensorsystem aus wenigstens 

30 einem Bildsensor besteht, wobei die UngleichmaBigkeiten des Bildes des Bildsensorsystems 

beleuchtungsabhangig korrigiert werden, wobei das Fixed-Pattern-Noise (FPN) des Bildsensors 
und die Objektivinhomogenitaten korrigiert werden. Durch diese helligkeitsadaptive Fixed- 
Pattern-Noise (FPN) -Nachkorrektur des vom Bildsensor gelieferten Ur-Bildes werden in 
vorteilhafter Weise gleichzeitig Objektivinhomogenitaten korrigiert. Das Ur-Bild des 
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Bildsensors kann teilweise korrigiert sein odcr unkorrigiert vorliegen. Diese Vorteile gelten fur 
das beschriebene Verfahren selbst und fur ein Bildsensorsystem, das Mittel zur Korrektur des 
Fixed-Pattern-Noise (FPN) des Bildsensors und/oder wenigstens einer weiteren 
UngleichmaBigkeit des wenigstens einen Teils des Bildes des Bildsensorsystems, insbesondere 
5 Objektivinhomogenitaten, aufweist. 

Vorteilhaft ist die Ermittlung wenigstens eines beleuchtungsabhangigen Korrektur-Offsets 
und/oder wenigstens eines beleuchtungsabhangigen Korrekturwerts und/oder wenigstens einer 
beleuchtungsabhangigen Korrekturfunktion fur wenigstens einen Bildpunkt des Bildes und/oder 

10 wenigstens einen Teilbereich des Bildes und die Verwendung des Korrektur-Offsets und/oder 

des Korrekturwerts und/oder der Korrekturfunktion zur Korrektur von UngleichmaBigkeiten des 
Bildes des Bildsensorsystems. Die Korrektur-Offsets und/oder die Korrekturwerte und/oder die 
Korrekturfunktionen werden in vorteilhafter Weise durch Aufnahme von einer hellen homogen 
ausgeleuchteten Flache ermittelt, deren Helligkeit einstellbar ist. Die Abweichung der 

15 gewonnenen Abbildungen von dem theoretisch zu erwartenden Wert wird fur wenigstens einen 

Bildpunkt des Bildes und/oder wenigstens einen Teilbereich des Bildes fur jeden 
Helligkeitswert ermittelt. Die Abweichungen bilden als Korrektur-Offsets die Korrekturmuster. 
Ein Korrekturmuster ist bei einer Helligkeit eine Funktion der Bildpunkte des Bildes und/oder 
den Teilbereichen des Bildes. In einer Variante des nachfolgend beschriebenen Verfahrens wird 

20 das Korrekturmuster durch die Korrekturwerte anstatt der Korrektur-Offsets gebildet. Damit 

stehen fur jeden Bildpunkt des Bildes und/oder einen Teilbereich des Bildes in vorteilhafter 
Weise jeweils individuelle, helligkeitsabhangige Look-up-Tabellen zur Verfiigung, aus denen 
ohne weitere Berechnungen das korrigierte Bild zusammengesetzt wird. Dabei wird fUr jeden 
ermittelten Wert des Bildpunktes, beispielsweise ein Grauwert, aus der Look-up-Tabelle der 

25 Korrekturwert entnommen. In vorteilhafter Weise ist das Verfahren damit algorithmisch 

einfacher zu implementieren. Damit wird ein geringerer Rechenleistungsbedarf der 
Auswerteeinheit benotigt. Insgesamt fiihrt dies zu geringen Kosten bei gleichzeitig schnellerer 
Verarbeitung der Bilder. In einer Variante des Verfahrens werden Korrekturfunktionen aus den 
ermittelten Korrekturmustern berechnet. Fur jeden Bildpunkt des Bildes und/oder eines 

30 Teilbereiches des Bildes Werden die jeweiligen Parameter einer geeigneten analytischen 

Funktion als Korrekturfunktion durch Parameterschatzung ermittelt. In vorteilhafter Weise fiihrt 
dies zu einer Reduzierung des Speicherplatzbedarfes, da lediglich die Parameter der 
Korrekturfunktionen gespeichert werden miissen. Diese Vorteile gelten fur das beschriebene 
Verfahren selbst und fur ein Bildsensorsystem, das Mittel zur Korrektur von 
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UngleichmaBigkeiten des Bildes des Bildsensorsystems durch Ermittlung wenigstens eines 
beleuchtungsabhangigen Korrektur-Oflsets und/oder wenigstens eines beleuchtungsabhangigen 
Korrekturwerts und/oder wenigstens einer beleuchtungsabhangigen Korrekturfunktion 
wenigstens eines Bildpunktes und/oder wenigstens eines Teilbereich des Bildes aufweist. 

Vorteilhaft ist die Ermittlung von UngleichmaBigkeiten des Bildes des Bildsensorsystems zu 
deren Korrektur im Betrieb (Normalbetrieb) des Bildsensorsystems. Dadurch entfallt die 
Ermittlung von UngleichmaBigkeiten mittels eines Laboraufbaus. In vorteilhafter Weise werden 
hierbei die Kosten fur das Bildsensorsystem gesenkt. Beim Einbau des Bildsensorsystems in ein 
Kraftfahrzeug werden in vorteilhafter Weise Veranderungen der UngleichmaBigkeiten des 
Bildes des Bildsensorsystems automatisch und wiederholt erfasst. Beispielsweise wird eine 
lokale transparente Verschmutzung des Objektivs automatisch korrigiert, da die Ermittlung von 
UngleichmaBigkeiten des Bildes des Bildsensorsystems im Betrieb des Bildsensorsystems 
zyklisch wiederholt wird. Eine lokale transparente Verschmutzung ist beispielsweise ein 
einzelner Wassertropfen. Diese Vorteile gelten fur das beschriebene Verfahren selbst und fiir 
ein Bildsensorsystem, das Mittel zur Ermittlung von UngleichmaBigkeiten des Bildes des 
Bildsensorsystems zu deren Korrektur im Betrieb des Bildsensorsystems aufweist. 

Besonders vorteilhaft ist ein Bildsensorsystem mit wenigstens einem CMOS-Bildsensor, wobei 
der CMOS-Bildsensor eine stetig monotone Kennlinie aufweist, insbesondere dass der CMOS- 
Bildsensor eine logarithmische Kennlinie hat. CMOS-Bildsensoren weisen inharente Vorteile 
auf. Sie zeichnen sich durch einen groBen Dynamikbereich der Kennlinie der 
Beleuchtungsempfindlichkeit aus. Daneben sind CMOS-Bildsensoren unempfindlich gegeniiber 
auftretenden Artefakten bei direkter Blendung, also bei groBen Kontrastunterschieden. Durch 
eine beleuchtungsabhangige Korrektur der UngleichmaBigkeiten wenigstens eines Teils des 
Bildes des Bildsensorsystems, insbesondere die Korrektur des Fixed-Pattern-Noise (FPN) des 
Bildsensors erreicht man in vorteilhafter Weise eine Verminderung der Bildfehler im gesamten 
Dynamikbereich der Kennlinie. Gleichzeitig bleiben die inharent vorhandenen Vorteile der 
CMOS-Bildsensoren erhalten. 

Besonders vorteilhaft ist ein Computerprogramm mit Programmcode-Mitteln, urn alle Schritte 
des nachfolgend beschriebenen Verfahrens durchzufuhren, wenn das Programm auf einem 
Computer ausgefuhrt wird. Die Verwendung eines Computerprogramms ermoglicht die schnelle 
und kostengunstige Anpassung des Verfahrens, beispielsweise durch Anpassung von 
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Parametern an den jeweiligen Bildsensortyp. Daneben wird die Wartung in vorteilhafter Weise 
verbessert, da die einzelnen Verfahrensschritte nicht in Hardware, sondern in Software realisiert 
sind. 

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausfuhrungsbeispielen 
mit Bezug auf die Figuren und aus den abhangigen Paten tanspruchen. 

Zeichnung 

Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausfuhrungsformen 
naher erlautert. 

Es zeigen: 

Figur 1 ein Bildsensorsystem des bevorzugten Ausfuhrungsbeispieis, 

Figur 2 ein Blockdiagramm der Auswerteeinheit zur Korrektur von UngleichmaBigkeiten von 

Bildern des Bildsensorsystems des bevorzugten Ausfuhrungsbeispieis, 
Figur 3 ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im 

bevorzugten Ausflihrungsbeispie! in einer ersten Variante, 
Figur 4 ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im 

bevorzugten Ausfuhrungsbeispiel in einer zweiten Variante, 
Figur 5 ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im 

bevorzugten Ausfuhrungsbeispiel in einer dritten Variante. 

Beschreibung von Ausfuhrungsbeispielen 

Figur 1 zeigt ein Bildsensorsystem 10 des bevorzugten Ausfuhrungsbeispieis, bestehend aus 
einem Bildsensor 12, einem Objektiv 14 und einer Auswerteeinheit 16. Der Bildsensor 12 hat 
einen Erfassungsbereich 20. Elektromagnetische Strahlung im sichtbaren Spektralbereich 
gelangt iiberdas Objektiv 14 zum Bildsensor 12. Der Bildsensor 12 wandelt die 
elektromagnetische Strahlung in Ur-Bilder urn. Als Bildsensor 12 ist ein CCD-Bildsensor oder 
ein CMOS-Bildsensor einsetzbar. CMOS-Bildsensoren gibt es als Sensoren mit linearer, 
abschnittsweise linearer oder nichtlinearer, beispielsweise logarithm ischer, Kennlinie der 
Beleuchtungsempfindlichkeit. Im bevorzugten Ausfuhrungsbeispiel wird ein CMOS-Bildsensor 



200402 1696A1 I > 



WO 2004/021696 



- 7 - 



PCT/DE2003/002101 



mit logarithmischer Kennlinie verwendet, der aus vielen, in einer Matrix angeordneten 
lichtempfindlichen Zellen (Pixeln) besteht und ein Ur-Bild liefert, wobei die einzelnen Pixel 
eine Grauwertauflosung (Quantisierung) von 8-Bit haben. Jeder Pixel erzeugt im bevorzugten 
Ausfuhrungsbeispiel einen Biidpunkt im Ur-Bild. Die vom Bildsensor 12 ermittelten Ur-Bilder 
werden iiber eine Signalleitung 15 zur Auswerteeinheit 16 tibertragen. Die Ubertragung erfolgt 
dabei elektrisch und/oder optisch. Alternativ oder zusatzlich ist eine Ubertragung per Funk 
moglich. Die Auswerteeinheit 16 ermittelt aus den Ur-Bildern die korrigierten Bilder und 
ubertragt diese uber die Signalleitung 1 7 an wenigstens ein, vorzugsweise nachfolgendes 
System 18. Die Ubertragung erfolgt dabei elektrisch und/oder optisch. Alternativ oder 
zusatzlich ist eine Ubertragung per Funk moglich. Als nachfolgendes System 18 ist im 
bevorzugten Ausfuhrungsbeispiel ein Bildschirm zur Darstellung der korrigierten Bilder 
vorgesehen. Im bevorzugten Ausfuhrungsbeispiel bilden der Bildsensor 12, das Objektiv 14 und 
die Auswerteeinheit 16 eine Einheit. In anderen Varianten liegen die Komponenten getrennt 
vor. Bei einer ersten Variante des bevorzugten Ausfuhrungsbeispiels ist die Auswerteeinheit 16 
im Bildsensor 12 direkt integriert, wahrend in einer weiteren Variante die Auswerteeinheit 16 
getrennt in einem nachfolgenden System 18, beispielsweise einer nachfolgenden 
Verarbeitungseinheit, untergebracht ist. Die Auswerteeinheit 16 besteht aus mehreren in Figur 2 
dargestellten Modulen 22, 24, die im bevorzugten Ausfuhrungsbeispiel als Programme 
wenigstens eines Mikroprozessors ausgestaltet sind. Eine Besonderheit des CMOS-Bildsensors 
12 mit logarithmischer Kennlinie ist, dass das unmittelbar von den lichtempfindlichen Zellen 
(Pixel) gelieferte Ur-Bild korrigiert werden muss, bevor man ein zum Betrachten oder 
Weiterverarbeiten geeignetes Bild erhalt. Diese Korrektur ist notwendig, da aufgrund des 
sogenannten Fixed-Pattern-Noise (FPN) UngleichmaBigkeiten im Ur-Bild auftreten. Das Fixed- 
Pattern-Noise (FPN) entsteht dadurch, dass die Kennlinien (Grauwert als Funktion der 
Beleuchtungsstarke) der Pixel auf dem CMOS-Bildsensor 12 (Chip) nicht identisch parametriert 
sind, d.h. bei gleicher Beleuchtung ergeben sich bei unterschiedlichen Pixeln unterschiedliche 
Ausgangswerte. 

Figur 2 zeigt ein Blockdiagramm der Auswerteeinheit 16 zur Korrektur von 
UngleichmaBigkeiten von Bildern des Bildsensorsystems des bevorzugten 
Ausfuhrungsbeispiels. Uber die Signalleitung 15 in Figur 1 werden die Ur-Bilder 26 den 
Modulen 22 und 24 zugefuhrt. Dabei liegen die Ur-Bilder 26 entweder vom CMOS-Bildsensor 
vorkorrigiert vor oder die Ur-Bilder 26 sind unkorrigiert. In Modul 22 werden die 
UngleichmaBigkeiten der Ur-Bilder 26 beleuchtungsabhangig ermittelt und gespeichert. Die 
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ermittelten Korrekturdaten 30 werden an das Modul 24 weitergeleitet. Die helligkeitsadaptive 
Nachkorrektur der vom CMOS-Bildsensor gelieferten Ur-Bildern 26 geschieht in Modul 24. 
Durch Verarbeitung der Ur-Bilder 26 und der Korrekturdaten 30 werden die korrigierten Bilder 
28 ermittelt, die uber die Signalleitung 17 in Figur I an ein System 18 vveitergeleitet werden. 
5 Zur Bestimmung der Korrekturdaten 30 und zur Ermittlung der korrigierten Bilder 28 sind 

verschiedene Verfahren moglich, die nachfolgend anhand der Figuren 3 bis 5 erlautert werden. 

Figur 3 zeigt ein Abiaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im 
bevorzugten Ausfuhrungsbeispiel in einer ersten Variante. AIs Korrekturdaten wird ein 

10 Korrekturmuster-Feld 52 bestimmt. Die helligkeitsadaptive Nachkorrektur, beispielsweise des 

Fixed-Pattern-Noise (FPN) und/oder von radiometrischen Objektivinhomogenitaten, des vom 
CMOS-Bildsensor gelieferten Ur-Bildes wird in dieser ersten Variante durch Ermittlung von 
Korrekturmustern 54 durchgefiihrt. AIs radiometrische Objektivinhomogenitaten wird 
insbesondere der Objektivrandabschattung ermittelt. Dazu mussen die Korrekturmuster 54 

1 5 zuvor messtechnisch ermittelt werden. Die Korrekturmuster 54 werden fur die von den 

Bildelemente (Pixel) erzeugten Bildpunkten in Abhangigkeit einer jeweilig einfallenden 
Lichtmenge, also der Bestrahlungsstarke, bestimmt. Die Bestrahlungsstarke ist dabei als 
Leistung (Strahlungsleistung) pro FlSche definiert. Ober den gesamten radiometrischen 
Arbeitsbereich des CMOS-Bildsensors werden Aufnahmen einer in der abgegebenen 

2 0 Strahlungsleistung (Lichtleistung) einstellbaren homogenen Referenzlichtquelle mit ausreichend 

feiner Abstufung der eingestellten Lichtleistung gemacht. Durch die Abstufung mit diskreten 
Schritten liegt eine Quantisierung der abgegebenen Strahlungsleistung der Lichtquelle vor. Zur 
Durchfiihrung des Verfahrens ist eine ausreichende Homogenitat der Lichtquelle 
sicherzustellen. Als Referenzlichtquelle wird im bevorzugten Ausfuhrungsbeispiel eine 

25 Ulbrichtkugel verwendet. Sie ist ein Kugelphotometer mit einem Durchmesser von 1 bis 5 

Meter. Die Ulbrichtkugel hat innen einen reinweiBen, matten Anstrich. Dadurch wird das nach 
alien Seiten ausgestrahlte Licht einer in der Kugel befindlichen Lichtquelle so zerstreut und 
reflektiert, dass die Leuchtdichte auf der gesamten Kugeloberflache konstant ist. Bei geeigneter 
Wahl der Quantisierungsstufen der Lichtleistung wird fur jeden von einem Bildelement (Pixel) 

30 erzeugten Bildpunkt zu jedem Helligkeitswert der dazugehdrige Korrektur-Offset 56 ermittelt. 

Unter dem Korrektur-Offset 56 versteht man die Differenz zwischen dem tatsachlichen Wert 
des Bildpunktes und dem theoretisch bei der zugrundeliegenden Bestrahlungsstarke zu 
erwartenden Wert. Alle Korrektur-Offsets 56 der von den Pixeln des CMOS-Bildsensors 
erzeugten Bildpunkten bei einer Bestrahlungsstarke bzw. Lichtleistung der Lichtquelle bilden 
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ein Korrekturmuster 54. Die ermittelten Korrekturmuster 54 fur unterschiedliche 
Bestrahlungsstarken bilden das Korrekturmuster-Feld 52 (Kennfeld-Array). Im bevorzugten 
Ausfiihrungsbeispiel wird fur jeden quantisierten Ausgangswert des Bildpunktes eine 
entsprechende Bestrahlungsstarke gewahlt. Bei einer Quantisierung des Bildpunktes mit 8-Bit 
sind damit 256 Bestrahlungsstarken notwendig. Das Ablaufdiagramm des Verfahrens zur 
Ermittlung eines Korrekturmuster-Felds 52 nach Figur 3 beginnt beim Start 40. Im Punkt 42 des 
Ablaufdiagramms wird die Bestrahlungsstarke des Bildsensors durch Veranderung der 
Strahlungsleistung derLichtquelle, im bevorzugten Ausfiihrungsbeispiel der Ulbrichtkugel, 
eingestellt. Nach Aufnahme wenigstens eines Ur-Bildes durch den CMOS-Bildsensor wird im 
Punkt 44 die Ermittlung der Korrektur-Offsets 56 durchgefuhrt, die ein Korrekturmuster 54 
bilden. Bei Aufnahme von wenigstens zwei Ur-Bildern wird die Ermittlung der Korrektur- 
Offsets 56 aus den zeitlich gemittelten Ur-Bildern durchgefuhrt. In anschlieBenden Punkt 46 
wird das ermittelte Korrekturmuster 54 gespeichert. Im Punkt 48 wird die Abfrage 
durchgefuhrt, ob alle Korrekturmuster 54 zu jeder vorgesehenen Bestrahlungsstarke ermittelt 
wurde. Falls noch nicht alle Korrekturmuster 54 ermittelt wurden, wird zum Punkt 42 verzweigt 
und die Bestrahlungsstarke des Bildsensors entsprechend der vorgegebenen Quantisierung 
erhoht, andernfalls ist das Ablaufdiagramm mit dem Punkt 50 beendet. Das in Modul 22 in 
Figur 2 durch das beschriebene Verfahren ermittelte Korrekturmuster-Feld 52 wird als 
Korrekturdaten 30 dem Modul 24 zugefuhrt. In Modul 24 in Figur 2 wird zu jedem mit dem 
Bildsensorsystem aufgenommenen Ur-Bild 26 im Normalbetrieb in einem Zwischenschritt ein 
synthetisches Korrekturmuster aus dem Korrekturmuster-Feld 52 ermittelt, wobei das 
synthetische Korrekturmuster in jedem Bildpunkt an den Bildinhalt (Helligkeitswert des 
Bildpunktes) angepasst ist. Die helligkeitsadaptive Korrektur des in Figur 2 gelieferten Ur- 
Bildes 26 erfolgt durch Addition des synthetischen Korrekturmusters zum Ur-Bild 26, wobei als 
Ergebnis das korrigierte Bild 28 erzeugt wird. Das in Figur 3 beschriebene Verfahren wird 
algorithmisch vorteilhafter implementiert, indem im Korrekturmuster-Feld 52 nicht die 
Korrektur-Offsets 56 enthalten sind, sondern die bereits korrigierten Grauwerte 
(Korrekturwerte) 56 abgelegt werden. Der Korrekturwert ist der korrigierte Wert. Im Gegensatz 
dazu ist der Korrektur-Offset 56 die Differenz des ermitteltenGrauwertes zum Korrekturwert. 
Damit stehen fur alle Bildpunkte jeweils eine individuelle, helligkeitsabhangige Look-up- 
Tabelle im Korrekturmuster-Feld 52 zur Verfugung, aus denen direkt ohne weitere 
Berechnungen das korrigierte Bild 28 in Modul 24 nach Figur 2 basierend auf dem Ur-Bild 26 
im Normalbetrieb zusammengesetzt wird. Dies erfolgt, indem fur jeden Bildpunkt aus dem 
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Korrekturrnuster-Feld 52 fur jeden Bildpunkt fur den ermittelten Grauwert im Ur-Bild ein 
Korrekturwert 56 aus dem Korrekturmuster-Feld 52 entnommen wird. 

Figur 4 zeigt ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im 
bevorzugten Ausfuhrungsbeispiel in einer zweiten Variante. Aus dem ermittelten 
Korrekturmuster-Feld 52 (Kennfeld-Array) nach Figur 3 werden fur die von den Bildelemente 
(Pixel) erzeugten Bildpunkten die jeweiligen Parameter 64 einer geeigneten analytischen 
Beschreibung (mathematische Funktion) durch Parameterschatzung ermittelt und in einem Feld 
der Parameter 62 zusammengefasst. Damit stehen fur das gesamte vom CMOS-Bildsensor 
gelieferte Ur-Bild die parametrisierten Kennlinien fiir jeden Bildpunkt in Form eines Feldes der 
Parameter der Korrekturfunktionen 62 zur Verfugung, aus denen das korrigierte Bild berechnet 
wird. Hierbei wird vorausgesetzt, das die Form der Kennlinie der Beleuchtungsempfmdlichkeit 
aller Pixel gleich ist, aber die Parametrisierung der Kennlinie Unterschiede aufweist. Im Punkt 
58 des Ablaufdiagramms des Verfahrens zur Ermittlung von Korrekturdaten nach Figur 4 
werden die Parameter der Korrekturfunktionen 64 fur jeden Bildpunkt des Bildes aus dem 
Korrekturmuster-Feld 52 berechnet. Dabei konnen sowohl die Korrektur-Offsets 56 und/oder 
die Korrekturwerte 56 verwendet werden. Die Struktur der Korrekturfunktionen wird 
entsprechend der Eigenschaften des Bildsensors, insbesondere dem Verlauf der Kennlinien der 
Beleuchtungsempfmdlichkeit der Pixel des Bildsensors gewahlt. AIs Korrekturfunktionen 
werden im bevorzugten Ausfuhrungsbeispiel beispielsweise entweder Polynome f(x) = a„x" + a„. 
ix"" 1 + ... + aix + ao oder logarithm ische Funktionen g(x) = a Iog(x/b) verwendet. Die Parameter 
der Korrekturfunktionen 64 werden durch den Einsatz von Parameterschatzverfahren, wie die 
Methode der kleinsten Quadrate oder robuste Schatzverfahren ermittelt. Im bevorzugten 
Ausfuhrungsbeispiel wird in einem numerischen Verfahren mit der Methode der kleinsten 
Quadrate fur jeden Bildpunkt eine Ausgleichsfunktion durch die ermittelten Messwerte, also die 
Korrektur-Offsets 56 oder die Korrekturwerte 56, berechnet. Die Korrekturfunktionen werden 
durch die Parameter der Korrekturfunktionen 64 beschrieben. Die Korrekturfunktion fur einen 
Bildpunkt ist eine Funktion des Korrekturwertes von dem ermittelten Grauwert im Ur-Bild. Im 
anschlieBenden Punkt 60 werden die Parameter der Korrekturfunktionen 64 zum Feld der 
Parameter 62 zusammengefasst und gespeichert. Das in Modul 22 in Figur 2 durch das 
beschriebene Verfahren ermittelte Feld der Parameter 62 wird als Korrekturdaten 30 dem Modul 
24 zugefuhrt. In Modul 24 in Figur 2 wird zu jedem mit dem Bildsensorsystem aufgenommenen 
Ur-Bild 26 im Normalbetrieb mittels des Feldes der Parameter 62 das korrigierte Bild 28 
berechnet. Hierzu wird nach Figur 2 aus dem ermittelten Grauwert eines Bildpunktes des Ur- 



WO 2004/021696 



- 11 - 



PCT/DE2O03/O021O1 



Bildes 26 mittels der Korrekturfunktion eines Bildpunktes der korrigierte Grauvvert berechnet. 
Das korrigierte Bild 28 in Figur 2 setzt sich aus den so ermittelten korrigierten Grauwerten 
zusammen. In einer Variante des Verfahrens nach Figur 4 wird ebenfalls das Korrekturmuster- 
Feld (Kennfeld-Array) 52 flir geeignet ausgewahlte Lichtleistungseinstellungen (Stiitzstellen 
5 des Kennfeldes) aufgenornmen. Die Korrekturfunktioncn bzw. die Parameter der 

Korrekturfunktionen 64 werden durch Interpolation aus zwei oder mehreren Stiitzstellen 
berechnet. Dabei wird die Interpolation fur jeden einzelne von dem Bildelement (Pixel) 
erzeugten Bildpunkt entsprechend seinem Helligkeitswert aus den ihm zugeordneten 
Stiitzstellen durchgefiihrt. 

10 

Figur 5 zeigt ein Ablaufdiagramm des Verfahrens zur Ermittlung von Korrekturdaten im 
bevorzugten Ausftihrungsbeispiel in einer dritten Variante. Als Korrekturdaten wird ein 
synthetisches Korrekturmuster 78 bestimmt. Das synthetische Korrekturmuster 78 zur adaptiven 
Nachkorrektur des aktuellen Kamerabildes wird aus der Sequenz von N zeitlich 

15 zuruckliegenden Kamerabildern 66 berechnet. Das Zeitverhalten des synthetischen 

Korrekturmusters 78 kann durch die Anzahl und Gewichtung der zur Bestimmung des 
synthetischen Korrekturmusters 78 beriicksichtigten Bilder 68, 69, 70, 71, 72 beeinflusst 
werden. Unter dem Zeitverhalten des synthetischen Korrekturmusters versteht man die 
Dynamik der Adaption an die aktuell aufgenommene Szene. Unter der Annahme, dass die 

20 Lange N der Bildsequenz 66 genugend groB ist und eine ausreichend groBe Veranderung der 

Bildinhalte gegeben ist, wird das synthetische Korrekturmuster 78 im bevorzugten 
Ausftihrungsbeispiel wie nachfolgend erlautert bestimmt. Eine ausreichend groBe Veranderung 
der Bildinhalte liegt beispielsweise dann vor, wenn eine Objektbewegung und/odereine 
Kamerabewegung stattfindet. Zunachst wird ein gleitenden Mittelwert, eine zeitliche Mittelung, 

25 Uber N zuruckliegende Bilder 68, 69, 70, 71, 72 der Bildsequenz 66 im Punkt 74 berechnet. 

Alternativ werden in einer Variante anstelle des gleitenden Mittelwertes beliebige Tiefpassfilter 
(zeitlicher Tiefpass) 74 zur zeitlichen Filterung der Bildsequenz 66 eingesetzt. Wird von dem 
Ergebnisbild der zeitlichen Tiefpassfilterung der raumliche Mittelwert im Punkt 76 subtrahiert, 
so erhalt man das synthetische Korrekturmuster 78. Alternativ ist auch hier eine 

30 Tiefpassfilterung des Ergebnisbildes mit einem beliebigen Tiefpass (ortlicher Tiefpass) 76 

m6glich. Das in Modul 22 in Figur 2 durch das beschriebene Verfahren ermittelte synthetische 
Korrekturmuster 78 wird als Korrekturdaten 30 dem Modul 24 zugefiihrt. Die 
helligkeitsadaptive Korrektur des in Figur 2 gelieferten Ur-Bildes 26 erfolgt durch Addition des 
synthetischen Korrekturmusters 78 zum Ur-Bild 26, wobei als Ergebnis das korrigierte Bild 28 
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erzeugt wird. Dabei wird sowohl die Bildungdes synthetischen Korrekturmusters 78 in Modul 
22 in Figur 2 als auch die Erzeugung des korrigierten Bildes 28 in Modul 24 irn Normalbetrieb 
des Bildsensorsystems durchgefuhrt. In einer Variante des Verfahrens wird das Ergebnisbild der 
zeitlichen Tiefpass-Filterung mit einem geeigneten raumlichen Hochpass gefiltert, anstatt eine 
raumlichen Tiefpassfilterung mit anschlieBender Subtraktion des Ergebnisbildes der zeitlichen 
Filterung durchzufuhren. Die bei Verletzung der oben getroffenen Annahme, also eine 
ausreichend groBe Bildsequenz 66 und ausreichend groBe Veranderungen der Bildinhalte, 
auftretenden Bildartefakte werden durch geeignete Wahl der Filter, der Bildsequenzlange N und 
durch Einbringen von Vorwissen beseitigt oder weitestgehend kompensiert. In einer weiteren 
Variante werden die ermittelten synthetischen Korrekturmuster 78 gespeichert und durch 
Auswertung vieler zeitlich zuruckliegender und gespeicherter synthetischer Korrekturmuster 78 
ein Korrekturmuster-Feld 52 entsprechend Figur 3 bestimmt. Das Korrekturmuster-Feld 52 nach 
Figur 3 enthalt Korrektur-Offsets oder Korrekturwerte. Das ermittelte Korrekturmuster-Feld 
wird durch die Verarbeitung weiterer Ur-Bilder dynamisch verandert. Die weitere Verarbeitung 
des Korrekturmuster-Felds 52 erfolgt entsprechend der oben beschriebenen Variante nach Figur 
3. 

Das beschriebene Verfahren und das Bildsensorsystem sind nicht beschrankt auf die 
Verwendung eines 8-Bit-CMOS-Bildsensors bei Anwendungen in Kraftfahrzeugen. Vielmehr 
ist es insbesondere moglich andere CMOS-Bildsensoren und/oder CCD-Bildsensoren zu 
verwenden. Auch die Verwendung von Zeilen-Bildsensoren ist in einer Variante des Verfahrens 
und des Bildsensorsystems moglich. Daneben konnen die Bildsensoren als schwarz/weiB- 
Bildsensoren oder Farb-Bildsensoren ausgefuhrt sein. Alle beschriebenen Bildsensoren konnen 
dabei eine beliebige Grauwertauflosung und/oder Farbauflosung haben, die sich von dem im 
bevorzugten Ausfuhrungsbeispiel verwendeten 8-Bit-Bildsensor unterscheiden. Insbesondere ist 
die Verwendung von CMOS-Bildsensoren mit einer Auflosung von 10-Bit moglich. Daruber 
hinaus sind das Verfahren und das Bildsensorsystem auch zur Verwendung von analogen 
Bildsensoren geeignet, die keine diskreten Bildpunkte und/oder keine Quantisierung des 
Ausgangswertes aufweisen. Bei der Durchfuhrung des beschriebenen Verfahrens bei 
Bildsensoren ohne diskrete Bildpunkte werden anstatt der Bildpunkte Bereiche des Bildes 
verwendet, die durch Mittelwertbildung als Bildpunkte weiterverarbeitet werden. Bei analogen 
Bildsensoren ohne Quantisierung des Ausgangssignals wird das Ausgangssignal in einer 
Vorverarbeitung quantisiert und entsprechend dem oben beschriebenen Verfahren verarbeitet. In 
einer weiteren Variante werden wenigstens zwei Bildsensoren im Bildsensorsystem verwendet, 
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wobei die Bildsensoren im wesentlichen dieselbe Szene aufnehmen, insbesondere, dass das 
Bildsensorsystem eine Stereokamera ist. 

In einer Variante des beschriebenen Verfahrens und des Bildsensorsystems wird wenigstens ein 
Teil des Ur-Bildes beleuchtungsabhangig korTigiert. Insbesondere ist es denkbar lediglich die 
Randbereiche eines Ur-Bildcs zu korrigieren und/oder eine Korrektur lediglich bei sehr groBer 
und/oder sehr geringer Beleuchtung durchzufiihren. Dies fuhrt zu einer Reduzierung der 
benotigten Rechenleistung der Auswerteeinheit. 

Eine Variante des beschriebenen Verfahrens und des Bildsensorsystems sieht vor, mehrere 
Bildpunkte gemeinsam als einen Teilbereich zu verarbeiten. Dies ist moglich, wenn die 
zugrundeliegenden Pixel der Bildpunkte ahnliche Eigenschaften aufweisen und damit 
gemeinsam als ein Teilbereich behandelt werden. Dabei werden fur einen Teilbereich die 
Korrekturwerte oder die Korrektur-Offsets oder die Korrekturfunktion berechnet und die 
Berechnung fur jeden Bildpunkt des Teilbereichs mit diesen Werten durchgefuhrt. Der 
notwendige Rechenleistungsbedarf der Auswerteeinheit zur Durchfuhrung des Verfahrens wird 
dadurch vermindert. Die Korrektur der UngleichmaBigkeiten eines Bildes kann dabei nach 
Bildpunkten oder Teilbereichen erfolgen, oder auch gemeinsam durchgefuhrt werden. 

In einer weiteren Variante des beschriebenen Verfahrens und des Bildsensorsystems werden die 
vorstehenden Varianten kombiniert, indem beispielsweise fur unterschiedliche Teile, also 
Bereiche, des Ur-Bildes verschiedenen Varianten des Verfahrens angewendet werden. 
Insbesondere ist es moglich je nach Beleuchtung unterschiedliche Varianten der Verfahren 
anzuwenden. 
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10 Anspruche 

1 . Verfahren zur Korrektur von UngleichmaBigkeiten wenigstens eines Teils wenigstens eines 
Bildes eines Bildsensorsy stems, wobei das Bildsensorsystem aus wenigstens einem 
Bildsensor besteht, dadurch gekennzeichnet, dass die UngleichmaBigkeiten des Bildes des 

1 5 Bildsensorsystems beleuchtungsabhangig korrigiert werden, insbesondere dass 

UngleichmaBigkeiten der Helligkeit wenigstens eines Bildpunktes des Bildes und/oder 
wenigstens eines Teilbereiches des Bildes beleuchtungsabhangig korrigiert werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass UngleichmaBigkeiten 

20 wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des 

Bildes des Bildsensorsystems durch Ermittlung eines lokal und/oder global bestimmten 
BeleuchtungsmaBes beleuchtungsabhangig korrigiert werden. 

3. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass das 
- 5 Fixed-Pattern-Noise (FPN) des Bildsensors und/oder wenigstens eine weitere 

UngleichmaBigkeit des wenigstens einen Teils des Bildes des Bildsensorsystems, 
insbesondere Objektivinhomogenitaten, korrigiert werden. 

4. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass fur 
10 wenigstens einen Bildpunkt des Bildes und/oder wenigstens einen Teilbereich des Bildes 

wenigstens ein beleuchtungsabhangiger Korrektur-Offset und/oder wenigstens ein 
beleuchtungsabhangiger Korrekturwert und/oder wenigstens eine beleuchtungsabhangige 
Korrekturfunktion ermittelt werden und der Korrektur-Offset und/oder der Korrekturwert 
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und/oder die Korrekturfunktion zur Korrektur von UngleichmaBigkeiten des Bildes des 
Bildsensorsy stems verwendet werden. 

5. Verfahren nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass eine 
5 Ermittlung von UngleichmaBigkeiten des Bildes des Bildsensorsystems und deren 

Korrektur im Betrieb des Bildsensorsystems erfolgt, wobei wenigstens ein Bild einer 
Sequenz von Bildern im Betrieb des Bildsensorsystems verarbeitet wird. 

6. Bildsensorsystem mit wenigstens einem Bildsensor, dadurch gekennzeichnet, dass das 
10 Bildsensorsystem Mittel aufweist, urn UngleichmaBigkeiten wenigstens eines Teils 

wenigstens eines Bildes des Bildsensorsystems beleuchtungsabhangig zu korrigieren, 
insbesondere dass das Bildsensorsystem Mittel aufweist, urn UngleichmaBigkeiten der 
Helligkeit wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches 
des Bildes beleuchtungsabhangig zu korrigieren. 

15 

7. Bildsensorsystem nach Anspruch 6, dadurch gekennzeichnet, dass das Bildsensorsystem 
Mittel aufweist, welche die beleuchtungsabhangig Korrektur von UngleichmaBigkeiten 
wenigstens eines Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des 
Bildes des Bildsensorsystems durch Ermittlung eines lokal und/oder global bestimmten 

20 BeleuchtungsmaBes ermoglichen. 

8. Bildsensorsystem nach einem der Anspruche 6 oder 7, dadurch gekennzeichnet, dass das 
Bildsensorsystem Mittel aufweist, urn das Fixed-Pattern-Noise (FPN) des Bildsensors 
und/oder wenigstens eine weitere UngleichmaBigkeit des wenigstens einen Teils des Bildes 

25 des Bildsensorsystems, insbesondere Objektivinhomogenitaten, zu korrigieren. 

9. Bildsensorsystem nach einem der Anspruche 6 bis 8, dadurch gekennzeichnet, dass das 
Bildsensorsystem Mittel aufweist, welche die Korrektur von UngleichmaBigkeiten des 
Bildes des Bildsensorsystems durch Ermittlung wenigstens eines beleuchtungsabhangigen 

30 Korrektur-Offsets und/oder wenigstens eines beleuchtungsabhangigen Korrekturwerts 

und/oder wenigstens einer beleuchtungsabhangigen Korrekturfunktion wenigstens eines 
Bildpunktes des Bildes und/oder wenigstens eines Teilbereiches des Bildes ermoglichen. 
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10. Bildsensorsystem nach einem der Anspruche 6 bis 9, dadurch gekennzeichnet, dass das 
Bildsensorsystem Mittel aufweist, welche eine Ermittlung von UngleichmaBigkeiten des 
Bildes des Bildsensorsystems und deren Korrektur im Betrieb des Bildsensorsystems 
ermoglicht, wobei wenigstens ein Bild einer Sequenz von Bildern im Betrieb des 
Bildsensorsystems verarbeitet wird. 

1 1 . Bildsensorsystem nach einem der Anspruche 6 bis 10, dadurch gekennzeichnet, dass der 
wenigstens eine Bildsensor ein CMOS-Bildsensor ist, wobei der CMOS-Bildsensor eine 
stetig monotone Kennlinie aufweist, insbesondere dass der CMOS-Bildsensor eine 
logarithmische Kennlinie hat. 

12. Computerprogramm mit Programmcode-Mitteln, um alle Schritte von jedem beliebigen der 
Anspruche 1 bis 5 durchzufuhren, wenn das Programm auf einem Computer ausgefuhrt 
wird. 
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